When Shift Operation Meets Vision Transformer: An Extremely Simple Alternative to Attention Mechanism
https://gyazo.com/65023d8e54cf1c22784683ad5a1b1c80
しかし
上図のように, 入力の一部を四等分して, それぞれを上下左右にシフトだけのShiftモジュールで Attentionを代替 パラメタもなければ計算もない. ただのスライス操作だけ
https://gyazo.com/949cd4caa3bc5e6017e44c5ebf1169b7
https://gyazo.com/7f9c4aea72e5d329d13c832dfe66a07b
だけど
でもAAAI22→すぎょい🐟
https://gyazo.com/397c2b25a5ad5f02cc4766d80612e95d